Consistency Models

今までの画像生成は20ステップから40ステップほどノイズを取り除かないと画像ができなかった

通常、生成モデルは、ノイズからランダムなサンプルを生成することで、本物のデータと似たようなデータを生成することを目指す。しかし、既存の手法では、高品質なサンプルを生成するためには、敵対的学習が必要とされている

一方、「Consistency Models」は、モデルが生成するサンプルと、実際のデータの類似性を定量的に評価することで、高品質なサンプルを生成することができる

提案されたアプローチにはいくつかの利点があり、その主なものは、たった1回のフォワードパスで現実的なサンプルを生成できることである

Consistency Modelの目標は、1 回または多くても 2 回の計算ステップで適切な結果が得られるものを作成することでした。これを行うために、モデルは拡散モデルのように画像破壊プロセスを観察するようにトレーニングされますが、任意のレベルのあいまいな (つまり、情報がほとんどないか、または多くの情報が欠落している) 画像を取得し、完全なソース画像を生成することを学習します。

【速報】Consistency Models、約3.5秒で256x256の画像を64枚生成可能。画像は実際に生成したもの。18fps相当。